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22.10.03 Bee/Pz 

ROBERT BOSCH GMBH, 70442 Stuttgart 



FahrerassistenTVf-rfahren und -vorrichtimg anf der Basis von Fahrspurinfonnationen 



Stand der Technik 

Die Erfindung betrifft ein Fahrerassistenzverfahren und eine Fahrerassistenzvorrichtung, 
welche auf der Basis von Fahrspurinfonnationen arbeitet. 

Fahrerassistenzsysteme, welche auf der Basis von Fahispurinformationen arbeiten, sind 
im Stand der Technik bekannt. Em Beispiel fUr ein solches Fahrassistenzsystem ist ein 
Wamsystem. welches den Fahier bei Verlassen der Fahrspur bzw. bei drohendem 
Verlassen dec Fahrspur wamt. Ein derartiges System zeigt beispielsweise die EP 1074430 
Al, bei welcher mit Bildsensorsystemen die Fahrbahn (Fahrspur), auf der sich das 
Fahrzeug bewegt, ennittelt wird und der Fahrer gewamt wird, wenn das Fahrzeug diese 
Fahrspur verlasst bzw. zu verlassen droht. Femer sind aus den nicht vorverbffentUchten 
deutschen Patentanmeldungen 103 11 518.8 mit der PrioritSt vom 30.04.2002 sowie der 
102 38 215.8 mit PrioritSt vom 11.06.2002 derartige Fahrerassistenzsysteme bekannt Zur 
Erfassung der Fahrspur werden in diesen FaUen Bildsensorsysteme verwendet, welche im 
Fahrzeug eingebaut sind und welche die Szene vor dem Fahrzeug aufhehmen. Aus den 
aufgenommenen Bildem der Fahrspurrandmarkierungen werden die Grenzen der 
Fahrspur und damit die Fahrspur selbst ennittelt. Die Ermittlung der Fahrspur hSngt 
demnach wesenUich von den herrschenden Sichtverhaltnissen ab. wobei bei schlechten 
Sichtverhaltnissen die bekannten Systeme frUhzeitig abzuschalten sind. 

Aus der DE 19627 938 Al ist ein Beispid fiir die Erkennung und Modellierung von 
Fahrbandrandmarkierungen aus VideobUdem bekannt. wobei als ModeUparameter unter 
anderemFahrbahnbreite, Fahrbahnfcriimmung, Krtimmungsanderung und seidicher 
Versatz des Fahrzeugs ennittelt werden. 
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Voiteile der Erfindung 

Durch die Verwendung weiterer Infonnationen neben oder altemativ zur den 
Fahrspuirandmarkierungen, aus denen die den Verlauf der Fahrbahn (Fahrspur) 
beschreibenden GrtiBen abgeleitet werden, wird die Verfugbarkeit eines auf 
Fahrspurinfonnationen basietenden Fahrerassistenzsystems deutUch erhShL Besonders 
vorteiihaft ist. dass das Fahi^assistenzsystem auch dann verfugbar ist, wenn die 
Fahispuriandmarkierungen nicht mehr zuverlassig erkennbar sind. Dies ist vor allem bei 
schlechten Witterungsbedingungen wie beispielsweise nasser Fahrbahn, bei 
schneebedeckter Fahrbahn, etc. oder bei schlecht sichtbaren bzw. nicht vorhandenen 
Fahrspuirandmarkierungen von Bedeutung. 

Besonders vorteiihaft ist, den neben den Fahrspurrandmarkierungen oder auch anstelle 
dieser andeie Infonnationen jeweils einzehi oder in beUebiger Kombination zur 
Fahrspurbestimmung herangezogen werden, wie beispielsweise die Trajektorie eines oder 
mehrerer vorausfehiender Fahrzeug, die Fahrspuren eines oder mehrerer vorausfahrender 
Fahrzeuge beispielsweise bei Regen oder Schnee, die Trajektorie eines oder mehrerer 
entgegenkommender Fahrzeuge, der Verlauf von Fahrbahnrandbegrenzungen wie 
beispielsweise Leitplanken, Bordsteine, etc. Aus diesen Daten lassen sich ebenfells 
Fahrspurinfonnationen abieiten (schStzen), die ansteUe oder zusammen mit der aus den 
Fahrspunandmarkienmgen ermittelten Fahrspurinfonnatiion die Spurinformation 
(Spurdaten) fllr das Fahrerassistenzsystem bilden. Dadurch wird die Fahrspurennittlung 
sicherer. insbesondere dann. wenn die eigentlichen Fahrspunandmarkiemngen nicht mehr 
ausreichend erkennbar sind. 

Besonders vorteiihaft ist. dass dies ohne zusStzliche Hardware allein auf der Basis der 
Signale des Bildsensorsystems erfolgt. 

Besonders vorteiihaft ist. dass GUtemaBe flir die Spurdatenerfassung beispielsweise aus 
demBiidkontrast ermittelt werden, mit denen die jeweils ermittelten Spurdaten gewichtet 
und bei der Fusion der dem Fahrerassistenzsystem zur Verfilgung gestellten Spurdaten 
aus den einzelnen Spurdaten berttcksichtigt werden. Besonders vorteiihaft in diesem 
Zusammenhang ist, dass die BUdung eines GesamtgUtemaBes fiir die Spurdatenerfassung 
aus den EinzelgiitemaBen vorgesehen ist, wobei das Fahrerassistenzsystem abgeschaltet 
wird. wenn dieses GesamtgiitemaB einen bestimmten Wert unterschreitet. Vorteiihaft ist 
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auch. wenn das GutemaB aus einem Vergleich der Schatzung mit der Messung abgeleitet 
wird.' wobei insbesondere die Abweichung der Messpunkte von der SchStzUnie (Varianz) 
herangezogen werden. 

Vorteilhaft ist feraer. dass durch die ErhOhung der Verfiigbarkeit des 
Fahierassistenzsystems insbesondere auch bei schlechten Witterungsbedingungen die 
Fahieruntersttitzung gerade dann funktioniert, wenn der Fahrer diese UnterstUtzung 
besonders brauchL Insbesondere bei schlechten Wetterbedingungen wird der Fahrer 
durch ein Funktionieren des Fahrerassistenzsystems erheblich entlastet. 

In besonders vorteilhafter Weise werden bei der Spurdatenermitdung aus anderen 
Informationen als der Fahrspurrandmarkierungen (was im folgenden auch als 
Spurdatenschatzung bezeichnet wird) Daten eines globalen Positioniersystems und/oder 
Daten einer Navigationskarte und/oder neben der Fahrbahn stehende nicht bewegte 
Objekte. die vom Video-Sensor klassifiziert werden. zur Plausibilisierung der Spurdaten 
gewerteL Daduich wird die Spurdatenermitdung (Spurdatenschatzung) zuverlassiger. 



aus 



Besonders vorteilhaft ist auch. dass man bei Verlust von Werten. beispielsweise des 
Wertes fUr die Fahrbahnbreite. Werte vor dem Verlust oder Erfahrungswerte bzw. 
Durchschnittswerte bei der Spurdatenschatzung ffir diese Gi6fie einsetzt. Damit ist die 
Funktion der Spurdatenschatzung auch unter diesen Umstanden gewahrleitstet 

Weitere VorteUe Mgeben sich aus der nachfolgenden Beschreibung von 
AusfUhrungsbeispielen bzw. aus den abhangigen PatentansprUchen. 



Zeichnung 

Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten 
AusfUhrungsformen naher eriautert 

Figur 1 zeigt dabei ein BlockschaltbUd eines Fahrerassistenzsystems, insbesondere zur 
Fahrerwamung bzw. zur Reaktion bei drohendem Veriassen der Fahrspur durch das 
Fabrzeug. 

Figur 2 zeigt ein grobes Ablaufdiagramm eines ersten Ausf Uhrungsbeispiels zur 
Bereitstellung der Spurdateninformation. 
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In den Figuren 3 bis 5 sind Flussdiagrainme skizziert, welche eine zweite 
AusfUhrungsfonn fUr die Messung, Schatzung von Spurdaten und deien Auswertung im 
Fahrerassistenzsystem reprasentieren. 

Bescbieibung von AusfUhrungsbeispielen 

Figur 1 zeigt eine Voirichtung. welche zur Wamung des Fahters bzw. zur Reaktion bei 
Verlassen der Fahrspur dutch das Fahrzeug dienL Gezeigt ist eine Steuer- bzw. 
Auswerteeinheit 10. welche eine Eingangsschaltung 12. einen Mikrocomputer 14 sowie 
eine Ausgangsschaltung 16 aufweist Diese Elemente sind mit einem Bussystem zum 
gegenseitigen Datenaustausch miteinander verbunden. Der Eingangsschaltung 12 werden 
Eingangsleitungen von verschiedenen Messeinrichtungen zugeflUirt, ttber die Messsignale 
bzw. Messinformationen Ubermittelt werden. Eine erste Eingangsleitung 20 verbindet die 
Eingangsschaltung 12 mit emem Bildsensorsystem 22, welches im Fahrzeug angeordnet 
ist und welches die Szene vor dem Fahrzeug aufiummt Entsptechende BUddaten werden 
Uber die Engangsleitung 20 Ubermittelt. Femer sind Eingangsleitungen 24 bis 26 
voigesehen, welche die Eingangsschaltung 12 mit Messeinrichtungen 30 bis 34 
verbinden. Bei diesen Messeinrichtungen handelt es sich beispielsweise um 
Messeinrichtungen zur Messung der Fahizeuggeschwindigkeit, zurErfassung des 
Lenkwinkels sowie zur Erfassung weiterer BettiebsgrSBen des Fahrzeugs, welche im 
Zusammenhang mit der Fiinktion des Fahrerassistenzsystems Bedeutung haben. Femer 
werden Uber diese Eingangsleitungen Kartendaten und/oder Positionsdaten des Fahrzeugs 
zugefuhrt tJber die Ausgangsschaltung 16 und die Ausgangsleitung 36 wird wenigstens 
eine Wamemrichtung 38 angesteurat, beispielsweise eine Wamlampe und/oder em 
Lautsprecher flir eine akustische Wamung und/oder fUr eine Sprachausgabe und/oder ein 
Display fUr die Anzeige eines BUdes. mit deren HUfe der Fahrer vor dem drohenden 
Verlassen der Fahrspuren informiert bzw. gewarat wird. Auch eine haptische Wamung 
(Z.B. Lenkradvibration) kann vorgesehen sein. In einem anderen AusfUhrungsbeispiel ist 
altemativ oder zusStzUch vorgesehen, Uber die Ausgangsschaltung 16 und eine 
Ausgangsleitung 40 ein Stellsystem 42 anzusteuem, welches automatisch beispielsweise 
durch Eingriff in die Lenkung des Fahrzeugs das Fahrzeug wieder in die Spur zurilckfuhrt 
und so das Verlassen der Fahrspur verhindert 

Spurdaten werden m einer Ausfiihrung entsprechend der im eingangs genannten Stand 
def Technik ermittelt, wobei Fahrbahnmodellparameter durch Analyse des «f assten 
Bildes nach MaJJgabe einer die Kameradaten rarfassenden AbbUdungsvorschrift ermittelt 
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weiden und an das gemessene BUd angepasst werden. So analysiert das 
Fahrerassistenzsystem das vom Bildsensor erfasste Bild und ennittelt Objekte im Bild. 
insbesondere die Fahrspurrandmarkierungen (z.B. Mittellinien. etc.). Die Verlaufe der 
ermittelten Fahrspurrandmarkierungen (Unks und rechts) werden dann mathematisch 
durch Funktionen angenShert, z.B. als KlothoidemnodeU. beispielsweise angenShert 
durch ein Polynom zweiter Otdnung. Parameter dieser Gleichungen sind z.B. Krtimmung 
und Krummungsanderung, der Abstand des Eigenfehrzeugs zur Randmarkierungen nach 
links und nach rechts. Femer kann der Winkel zwischen der Tangente der berechneten 
Spur und der Bewegungsrichmng des eigenen Fahrzeugs ermittelt werden. Die auf diese 
Weise ermittelte Fahrspurinformation wird dann dem Assistenzsystem zugefUhrt, welches 
anhand der EigentrajektorieCn) des Fahrzeugs (ennittelt z.B. auf der Basis des 
Lenkwinkels) ein drohendes Oberschreiten der Fahrspur erkennt und zum geeigneten 
Zeitpunkt den Fahrer wamt bzw. GegenmaBnahmen einleitet 

Solange die Fahrspurrandmarkierungen im aufgenommenen BUd deutUch zu erkennen 
sind, ist die Berechnung dieser Spurdaten wie oben geschildert genau und zuverlassig. 
Bei schlechten Witterungsbedingungen und/oder schlechter Sicht und/oder schlecht 
sichtbaren bzw. nicht vorhandenen Spurrandmarkierungen kann die beschriebene 
Vorgehensweise ungenau sein bzw. kein Ergebnis liefem kbnnen. Die auf Basis der 
Spurdaten arbeitenden Systeme wSren somit in solchen Situationen abzuschalten. 
Nachfolgend wird daher eine Erweiterung der Spurdatenerfassung und damit eine 
Erweiterung des damit verbundenen Fahrerassistenzsystems beschrieben. welche auch bei 
schlechten Witterungsbedmgungen und/oder schlecht sichtbaren bzw. nicht vorhandenen 
Spurrandmarkierungen durch Berechnen einer Fahrspur (Sclmtzen einer Fahrspur) auf der 
Basis von anderen Laformationen aus dem aufgenommen Bild als die 
Spurrandmarkierungen ein weiteres Funktionieren des Fahrerassistenzsystems erlaubt, 
wobei kem zusStzUcher Aufwand an Hardwareausstattung entsteht 

In Figur 2 ist ein Ablaufdiagramm dargestellt, welches ein erstes Ausfiihrungsbeispiel 
bzgl. der oben genannten Erweiterung der Spurdatenerfassung darsteUt. Das 
Ablaufdiagramm leprasentiert dabei auf dem Mikrocomputer in der Steuer- bzw. 
Auswerteeinheit 10 ablaufende Programme. 

Ausgangspunkt ist ein BUdsensor 200. der im Fahrzeug oder am Fahrzeug angebracht ist 
und die Szene vor dem Fahrzeug aufhimmt. Entsprechende BUdsignale werden ttber die 
Leitungen 202 an die Auswerteeinheit 10 weitergeleitet. Neben der oben geschilderten 
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Spurdatenberechnung auf der Basis von Spurrandmarkierungen wertet die 
Ausweiteeinheit 10 die Ubermittelten Bilder wie folgt aus. 

Zunachst werden wie oben beschrieben im Modul 204 die Fahrspurrandmarkienmgen im 
Bild erkannt und dann im Modul 206 die Spurdaten bercchnet. In einem zweiten Modul 
208 werden im dargestellten Ausftthningsbeispiel der Verlauf der Spuren eines oder 
mehrerer vorausfahiender Fahrzeug ermittelt, die z.B. auf nasser Fahrbahn, im Schnee, 
etc. zu sehen sind. Dies wird dutch Analyse und Objekterkennung im Bild z.B. auf der 
Basis der Grauwerte erreicht (z.B. Gradientenauswertung). Dabei wird im Rahmen dieser 
Darstellung unter Objekt auch die Fahrbahm-andmarkierung und/oder die 
Fahrbahnrandbebauung (Leitplaoken, etc.) verstanden. Der auf diese Weise erkannte 
Spurenverlauf wird dann analog zum oben Genannten mathematisch mit den genannten 
Parametem beschrieben. Dabei wird die Fahrbahnbreite (geschatzt, aus Kartendaten, etc.) 
mit berttcksichtigt. 

Im Modul 210 wird anhand aufeinander folgender Bilder die Trajektorie eines oder 
mehrerer vorausfehrender und/oder von entgegenkommender Fahrzeuge aufgezeichnet. 
Dies erfolgt durch Objekterkennung und -verfolgung in den einzelnen Bildera, wobei aus 
den Veranderungen des Objekts die Parameter abgeleitet werden. Die Fahrbahnbreite 
bzw. der Versatz zwischen Gegenverkehr und Verkehr auf der eigenen Spur werden als 
Schatzwerte berUcksichtigt. Altemativ oder Erganzend werden im Modul 210 stehende 
Objekte am Fahrbahnrand, z.B. Leitplanken, ausgewertet und die Trajektorie auf der 
Basis dieser Information bestimmt. * 

Femer wird auf der Basis der vom Bildsensor gelieferten Bilder beispielsweise auf der 
Basis der Bildkontraste im Bereich des jeweUigeh ausgewerteten Objekts ein GUtemaB 
(z.B. Zahl zwischen 0 und 1) fiir die jeweiligen Spurdaten ermittelt und jeder ermittelten 
Spurdaten mitgegeben. Eine alternative oder ergtozende MaBnahme zur Ermittlung des 
GUtemaB ist ein Vergleich der Schatzung mit der Messung. wobei insbesondere die 
Abweichung der Messpunkte von der Schatzlinie (Varianz) herangezogen werden. Ist die 
Varianz-groB, wird em kleines GUtemaB angenonmien, ist sie klein, wird ein hohes 
GUtemaB angegeben. 



Die auf diese Weisen ermittelten zusatzlichen Spurdaten werden im Modul 
Spurdatenschatzung 212 dann zur Bildung eines Satzes von geschatzten Spurdaten 
gegebenenfaUs unter Berucksichtigung der GutemaBe ausgewertet. Dies erfolgt dabei in 
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einer bevorzugten AusfUhrung dutch Gewichtung der auf verschiedene Art und Weisen 
ennittelten Spurdaten mit dem zugeordneten ennittelten GUtemaB und der Berechnung 
der resultiCTenden Spurdaten aus diesen gewichteten Spurdaten dec verschiedenen 
QueUen, z.B. durch Mittelwertbildung. Entsprechend wird ein resultierendes GUtemaB 
bestimmt. 

In einer bevorzugten Ausfiihrungsform ist femer ein globales Positioniersystem bzw. 
Kartendaten 214 vorgesehen, deren Informationen imRahmen der Spurdatenschatzung 
als PlausibilitatsUbtapriifung verwertet wird. Beispieisweise wird iiberpraft, ob anhand 
dieser Kartendaten bzw. Positionierdaten die ennittelten Spurdaten noit den Kartendaten 
im Rahmen der geforderten Genauigkeit Ubereinstimmen oder nicht. Im letzteren FaU 
wird abhangig von einem Vergleich der Schatzdaten mit den Kartendaten ein GUtemaB 
fur die Spurdaten festgelegt, wobei das GatemaB bei grSBeren Abweichungen geringer ist 
als bei kleineren Abweichungen. Kbnnen bestimmte Spurdaten aus den zu Verfugung 
stehenden Daten nicht ermittelt werden, werden Erfahrungswerte oder Werte vor dem 
Verlust der Information herangezogen. Ist beispieisweise die Breite der Fahrbahn aus den 
aktuell vorliegenden Informationen nicht ermittelbar, so werden entweder 
Erfahrungswerte fiir die Fahrbahnbreite oder die bei der letzten Spurdatenschatzung 
ermittelten Werte fiir die Fahrbahnbreite verwendet. 

Die auf diese Weise geschatzten Spurdaten werden dann einer Spurdatenfusion 216 
zugefuhrt, in der die geschatzten Spurdaten mit resultierendem GutemaS und die 
berechneten Spurdaten (ebenfalls mit GUtemaB) aufgnind der Fahrspurrandmarkierungen 
zu den fiir die Funktion verwendeten Spurdaten zusammengefUhrt werden. Auch hier 
fmdet die Datenfusion unter Berticksichtigung der GutemaBe statt, beispieisweise indem 
bei sehr geringem GUtemaB die entsprechendeh Daten verworfen, bei sehr hohem 
GUtemaB einer der Berechnungswege nur diese Daten verwendet werden, im 
Zwischenbereich erne Mittelwertbildung stattfindet. Auch kann entsprechend ein 
resultierendes GUtemaB ermittelt werden. 

Die auf diese Weise ermittelten Spurdaten werden der nachfolgenden Auswerteeinheit 
zur Verfugung gestellt, die dann auf der Basis dieser Spurdaten beispieisweise den Fahrer 
bei drohendem Verlassen der Fahrspur wamt. 



In den Figuren 3 bis 5 ist ein weiteres Ausfubrungsbeispiel der vorgeschlagenen 
Vorgehensweise als Hussdiagramme dargesteUt. Die Flussdiagramme reprMsentieren 



- 8 



R. 306481 



dabei Programme oder Programmteile von Programmen fur den Mikrocomputer, der in 
der Auswerteeinheit 10 angeordnet isL 

In Figur 3 ist ein Beispiel dargestellt, welches eine Auswertung der ermittelten Spurdaten 
amBeispiel eines Systems zur Wamung vor Verlassen der Fahrspur darsteUt. ZunSchst 
werden im Schritt 300 die gemessen und/oder geschatzten oder aus einer Fusion der 
beiden abgeleiteten Spuidaten bzw. die Abschaltinformation (siehe unten) eingelesen. Im 
Schritt 301 wird ttbeiprUft, ob eine Abschaltinformation vorUegt. In diesemFall wird das 
Programm beendet und zom nSchsten Zeitpunkt emeut durchlaufen. Im anderen FaU wird 
im Schritt 302 aufgrund von FahrzeuggrOUen wie Lenkwmkel, Gierrate, 
Querbeschleunigung, Fahrzeuggeometriedaten, etc. die Mrajektorien des Fahrzeugs 
und daraus der zukiinftige Kurs des Fahrzeugs (linke und/oder rechte Fahrzeugseite) als 
mathematische Funktion (unter der Annahme dass das Fahrzeug den aktueUen Kurs, ggf. 
unter BerUcksichtung ttbUcher Fahrerreaktionen beibehalt) berechnet. Daraufhin wird im 
Schritt 304 durch Vergleich dea- ermittelten Spurdaten sowie mit dem zukiinftigen Kurs 
des Fahrzeugs (auf einer oder auf beiden Fahrspurseiten) ein drohendes Verlassen der 
Fahrspur abgeleitet (Schnittpunkte der mathematischen Funktionen in der Zukunft). Ist 
dies der Fall, so wird gemSB Schritt 306 der Fahrer akustisch und/oder optisch und/oder 
haptisch gewamt. gegebenenfalls in einem AusfUhnmgsbeispiel durch Lenkeingriff das 
Fahrzeug in der Spur gehalten. Ergibt der Vergleich, dass kein Verlassen der Fahrspur zu 
befUrchten ist, unterbleibt die Wamung bzw. die geschilderte Aktion. 

Figur 4 zeigt eine Vorgehensweise zur Spurdatenermittlung auf der Basis zur VerfUgung 
stehendCT geschatzter Spurdaten. Zunfichst wird im Schritt 400 aus dem vom Videosensor 
200 erfassten BUd mit Methoden der Bildanalyse, z.B. anhand der BUdkontraste und 
Vergleich mit gespeicherten Modellen, eine Erkennung der Fahrspurrandmarkierungen 
durchgefiihrL Femer wird im Schritt 402 aus dem Kontrast des BUdes, insbesondere aus 
dem Kontrast im Bereich der Fahrspurrandmarkierung, und/oder der Varianz der Mess- 
und der Schatzwerte ein GUtemaB gebUdet Im bevorzugten Ausflihrungsbeispiel ist dies 
ein Wert zwischen 0 und 1, wobei das GUtemaB umso hSher ist, je hbher der Kontrast des 
Bildes bzw. je kleiner die Varianz ist. Im darauf folgenden Schritt 404 wird dann auf der 
Basis der erkannten Fahrspurrandmarkierungen die Spurdaten berechnet, insbesondere 
ein Polynom zweiter Ordnung gebildet und die Spurparameter Kriimmung und 
Kriimmungsanderung sowie Abstand nach links und rechts zum eigenen Fahrzeug 
errechnet, so dass Spurdaten fur den linken und flir den rechten Rand vorUegen. Im • 
Schritt 406 werden die Spurdaten aus der Spurdatenschatzung (die ebenfalls fUr rechts 
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und Unks vorUegen) samt dem damit verbundenen GtttemaB eingelesen. Im Schritt 408 
erfolgt dann die Fusion dieser Spurdaten fur jede Seite einzeln zur Bildung der 
resultierenden Spurdaten. Dies erfolgt unter Berlicksichtigung der ennittelten GUtemaBe. 
So wird beispielsweise bei einem hohen GiitemaB (beispielsweise > 0,75) bei der 
Erfassung der Fahrspurrandmarkierungen auf die Beriicksichtigung der 
Spurdatenschatzung voUstandig verzichtet Ebenso kann es AusfUhrungsbeispiele geben. 
in der im umgekehrten FaU bei einem hohen GtttemaB der SpurdatenscMtzung und euxem 
geringen GtttemaB der Fahrspurrandmarkierungserkennung (< beispielsweise 0,3) auf die 
Spurdaten aus der Schatzung herangezogen werden. In anderen Fallen erfolgt die Fusion 
beispielsweise im Rahmen emer gewichteten Mittelwertbildung aus den zur VerfUgung 
stehenden Spurdaten, wobei die Wichtung auf der Basis der GUtemaBe erfolgt. Ebenso 
wie bei den Spurdaten werden aus den GUtemaBe ein resultierendes GtttemaB ennittelL 
Im Schritt 410 wird Uberpnift, ob dieses eine bestimmte Gr5Be erreicht hat, 
beispielsweise 0,5. 1st dies nicht der Fall, wird anstelle der Spurdaten eine 
Abschaltinformation im Schritt 412 an die nachfolgenden Systeme geschickt, derart. dass 
keine verlasslichen Spurdaten ermittelt werden k5nnen. Im anderen FaU werden die 
resultierenden Spurdaten an die nachfolgende Anwendung weitergegeben (Schritt 414). 

In Figur 5 ist ein Hussdiagramm dargestellt, welches ein Ausfuhrungsbeispiel zur 
Eimittlung der geschatzten Spurdaten skizziert. Auch hier wird im ersten Schritt 500 das 
vom Videosensor ermittelte Bild analysiert. Dabei werden verschiedene Objekte imBUd 
erkannt, beispielsweise vorausfahrende Fahrzeuge, entgegenkonmiende Fahrzeuge, 
stehende Objekte wie z.B. Leitplanken, die den Fahrbahnrand kennzeichnen, sowie nicht 
bewegte Objekte auBerhalb der Fahrbahn, beispielsweise Baume, etc. Die Analyse des 
Bildes und die Objekterkennung sowie Klassifizierung der Objekte erfolgt dabei nach 
MaBgabe eines entsprechenden BUdanalyseverfahrens z.B. auf der Basis der im BUd 
vorhandenen Kontcaste und von Konturenvergleichen. Im darauf folgenden Schritt 502 
werden aus den Kontrasten der BUdausschnitte. in denen die ennittelten Objekte Uegen, 
und/oder aus der Varianz der entsprechenden Mess- und der Schatzwerte jeweUs 
GUtemaBe fur die Objekterkennung ermittelt. Jedes erkannte Objekt ist dabei mit emem 
entsprechenden GtttemaB (z.B. einem Wert zwischen 0 und 1) versehen. 

Im darauf folgenden Schritt 504 werden aus den Objekten Spurdaten abgeleitet Dies 
erfolgt bei vorausfahrenden oder entgegenkommenden Fahrzeugen durch Analyse 
aufeinander folgender Bilder, aus denen die Bewegung der Fahrzeuge, die Richtung und 
deren Trajektorien in der Vergangenheit ermittelt werden. Die auf diese Weise ermittelten 
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Trajektorien werden dann zur Bestimmung eines Fahrbahnverlaufs herangezogen. 
Insbesondeie geeignet hierfur ist der Gegenverkehr. dessen Trajektorie in der 
Vergangenheit die vomFahizeug zu befahrene Fahrspur reprSsentiert. Unter 
BerUcksichtigung des lateralen Abstands zwischen den vorausfahrenden und den 
entgegenkommenden Fahrzeugen wird der Verlauf der eigenen Fahrspur ennittelt Daraus 
werden wiederum die oben genannten Spurdaten aus der Trajektorie und dner 
angenommen Oder bestimmten Fahrspurbreite ennittelL 

Bei Regen oder schlechter Sicht oder auch bei Schnee lasst sich aus dem aufgenommen 
Bild die dann sichtbaie Spur des voranfahrenden Fahrzeuges auswerten. Aus der 
BUdanalyse lassen sich Trajektorien berechnen. die unter BerUcksichtigung einer 
angenommenen Spurbteite in etwa dem Verlauf der Fahrbahniandmarkierungen 
entsprechen. Die Spurdaten werden auch hier aus den imBild erkannten Objekten als 
mathematische Funktion dargestellt 

Als weitere MOglichkeit lassen sich nicht bewegte Objekte zur Schatzung von Spurdaten 
auswerten, insbesondere Leitplanken oder andere Begrenzungen, die die Fahrbahn 
zumindest auf einer Seite begrenzen. Der Verlauf dieser Begrenzungen iSsst sich im Bild 
analysieien und daraus eine Trajektorie berechnen. Unter BerUcksichtigung von UbKchen 
Seitenabstanden und Fahrbahnbreiten lassen sich dann Spurdaten (rechts und links) 
ermitteln. 

Wie oben erwShnt wird jedem ennittelten Objekt ein GUtemaB zugeordnet, welches 
entsprechend den auf der Basis dieses Objekts ermittelten Spurdaten beigegeben wird. 
Femer kSnnen nicht bewegte Objekte, die vom Videosensor klassifiziert werden und 
nicht befahrbare HSchen markieren, zur PlausibUitatsUberprUfung der geschStzten Spur 
dienen. Wird erkannt, dass die geschatzte Spur im Bereich solcher nicht bewegter 
Objekte sich befmdet, ist von einer fehlerhaften Spurschatzung auszugehen. 

Die ermittelten Spurdaten sowie das resulti«ende GUtemaB werden dann zur weiteren 
Auswertung abgegebrai (vgl. Figur 4). 

bi-einer-iaevorzugten AusfUhrungsform wird die Spurschatzung nur bei erkannten 
schlechten Witterungsbedingungen durchgefUhrt, wahrend bei guten 
Witterungsbedingungen und guter Sicht auf die Schatzung verzichtet wird. Schlechte 
Witterungsbedingungen werden dabei erkannt, wenn der Scheibenwischer Uber ein 
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bestimmtes MaB hinaus aktiv ist und/oder wenn ein Regensensor Regen erkennt, 
und/oder wenn der Videosensor eine geringe Sichtweite ermittelt. 

Femer ist in einem Ausfiihrungsbeispiel vorgesehen, die Giite der Spurschatzung zu 
veiringem, wenn ein Abbiege- oder Spurwechselvorgang des vorherfahienden 
Fahrzeuges erkannt wild. 
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ROBERT BOSCH GMBH, 70442 Stuttgart 



Patentanspriiche 

1. Fahrerassistenzverfahien auf der Basis von Fahrspurinfonnation, wobei abhSngig von 
der Fahrspurinfonnation eine Fahrerinformation und/oder eine Aktion ausgelGst vmd, 
dadurch gekennzeichnet, dass die Fahrspurinfonnation aus wenigstens zwei, die 
Fahrspur kennzeichnenden laformationen abgeleitet wird. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Fahrspurinfonnation 
anhand der Fahrspurrandmarkierungen mittels eines Bildes einer Kamera ermittelt 
wird. 

3. Verfahren nach einem der vorhergehenden Ansprttche, dadurch gekennzeichnet, dass 
die Fahrspurinf ormation auf der Basis von im BUd einer Kamera erkannten Objekten 
erfolgt. 

4. Verfahren nach einem der vorhergehenden Anspniche, dadurch gekennzeichnet, dass 
die Fahrspurinformation auf der Basis entgegenkommender Fahrzeuge und/oder auf 
der Basis vorausfahrender Fahrzeuge und/oder auf der Basis nicht bewegter Objekte, 
die den Fahrbahnrand markieren, ermittelt wird. 

5. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass 
dirf^iTspurinformation auf der Basis der Spuren des voranfahrenden Fahrzeugs oder 
der voranfahrenden Fahrzeuge ermittelt wird. 

6. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass 
jede fof ormation, aus der die Fahrspurinformation abgeleitet wird, mit einem 
Giitemafi versehen ist. 
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7. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass 
bei der Ermittlung der Fahrspurinformation die jeweiligen GUtemaBe berucksichtigt 
werden. 

8. Verfahren nach einem der vorhergehenden AnsprUche, dadurch gekennzeichnet, dass 
das GutemaB aus dem Kontrast des Bildes abgeleitet wird und/oder aus emem 
Vergleich der SchHtzung mit der Messung, wobei insbesondere die Abweichung der 
Messpunkte von der Schatzlinie (Varianz) herangezogen werden. 

9. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass 
die Fahrspurinformation sowie das GUtemaB an nachfolgende Auswerteeinheiten 
abgegeben werden. 

10. FahrCTassistenzvorrichtung auf der Basis von Fahrspurinformationen, mit einer 
Auswerteeinheit, welche auf der Basis eines ermittelten Bildes eine 
Fahrspurinformationen ermittelt, dadurch gekennzeichnet, dass die Auswerteeinheit 
die Fahrspurinformation aus wenigstens zwei, die Fahrspur kennzeichnenden 
Informationen ableitet. 

1 1. Fahrerassistenzvorrichtung auf der Basis von Fahrspurinformationen, mit einer 
Auswerteeinheit, welche auf der Basis euies ermittelten Bildes eine 
Fahrspurinformationen ermittelt, dadurch gekennzeichnet, dass die Auswerteeinheit 
ein GutemaB fur die Fahrspurinformation ermittelt 
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Pahrerassistenzverfahren und -vorrichtung auf der Basis von Fahrspurinformationen 



Zusammenfassung 

Es wild ein Fahrerassistenzverfahren und eine Fahrerassistenzvorrichtung vorgeschlagen, 
welche auf der Basis von Fahrspurinformationen arbeitet. Die Fahrspurinformationen 
werden dabei je nach Witterungsbedingungen aus einem von einem Videosensor 
aufgenommenen Bild gemessen und/oder aufgrund von Objekten in diesem Bild 
geschatzt. 

(Figur 3) 
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